The evaluation of object detection models is usually performed by optimizing a single metric, e.g. mAP, on a fixed set of datasets, e.g. Microsoft COCO and Pascal VOC. Due to image retrieval and annotation costs, these datasets consist largely of images found on the web and do not represent many real-life domains that are being modelled in practice, e.g. satellite, microscopic and gaming, making it difficult to assert the degree of generalization learned by the model. We introduce the Roboflow-100 (RF100) consisting of 100 datasets, 7 imagery domains, 224,714 images, and 805 class labels with over 11,170 labelling hours. We derived RF100 from over 90,000 public datasets, 60 million public images that are actively being assembled and labelled by computer vision practitioners in the open on the web application Roboflow Universe. By releasing RF100, we aim to provide a semantically diverse, multi-domain benchmark of datasets to help researchers test their model's generalizability with real-life data. RF100 download and benchmark replication are available on GitHub.
translated by 谷歌翻译
在COVID-19大流行期间，在COVID-19诊断的紧急环境中进行的大量成像量导致临床CXR获取的差异很大。在所使用的CXR投影，添加图像注释以及临床图像的旋转程度和旋转程度中可以看到这种变化。图像分析社区试图通过开发自动化的CoVID-19诊断算法来减轻大流行期间过度拉伸放射学部门的负担，该诊断算法是CXR成像的输入。已利用大量公开的CXR数据集来改善CoVID-19诊断的深度学习算法。然而，公开可用数据集中临床可获得的CXR的可变质量可能会对算法性能产生深远的影响。 COVID-19可以通过图像标签等图像上的非动物特征的算法来推断诊断。这些成像快捷方式可能是数据集特定的，并限制了AI系统的概括性。因此，了解和纠正CXR图像中的关键潜在偏差是CXR图像分析之前的重要第一步。在这项研究中，我们提出了一种简单有效的逐步方法，以预处理Covid-19胸部X射线数据集以消除不希望的偏见。我们进行消融研究以显示每个单个步骤的影响。结果表明，使用我们提出的管道可以将基线共证检测算法的精度提高到13％。
translated by 谷歌翻译
链接预测是图形结构数据（例如，社交网络，药物副作用网络等）的基本问题。图形神经网络为此问题提供了强大的解决方案，特别是通过学习封闭目标链接的子图的表示（即节点对）。但是，这些解决方案不能很好地扩展到大图，因为封闭子图的提取和操作在计算上是昂贵的，尤其是对于大图。本文提出了一个可扩展的链接预测解决方案，我们称之为缩放，该解决方案利用稀疏的封闭子图来做出预测。为了提取稀疏的封闭子图，缩放缩放从目标对节点进行多次随机步行，然后在所有访问的节点引起的采样封闭子图上操作。通过利用较小的采样封闭子图，缩放的缩放可以缩放到较大的图形，而在保持高精度的同时，缩小开销要少得多。缩放进一步提供了控制计算开销与准确性之间的权衡的灵活性。通过全面的实验，我们已经证明，缩放可以产生与现有子图表示学习框架报告的同时所报道的，同时计算要求较少的准确性。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
大型语言模型已被证明可以使用少量学习来实现各种自然语言任务的出色表现，这大大减少了将模型调整到特定应用程序所需的特定任务培训示例的数量。为了进一步了解量表对少量学习的影响，我们培训了一个5400亿个参数，密集激活的变压器语言模型，我们称之为“途径”语言模型棕榈。我们使用Pathways在6144 TPU V4芯片上训练了Palm，这是一种新的ML系统，可在多个TPU POD上进行高效的训练。我们通过在数百种语言理解和产生基准的基准方面实现最先进的学习结果来证明扩展的持续好处。在这些任务中，Palm 540B实现了突破性的表现，在一系列多步推理任务上表现出色，超过了最新的最新表现，并且在最近发布的Big Benchmark上表现优于平均人类表现。大量的大型基础任务显示出与模型量表的不连续改进，这意味着当我们扩展到最大模型时，性能急剧增加。 Palm在多语言任务和源代码生成方面也具有很强的功能，我们在各种基准测试中证明了这一点。我们还提供了有关偏见和毒性的全面分析，并研究了训练数据记忆的程度，相对于模型量表。最后，我们讨论与大语言模型有关的道德考虑，并讨论潜在的缓解策略。
translated by 谷歌翻译
考虑到人类行为的例子，我们考虑在多种代理决策问题中建立强大但人类的政策的任务。仿制学习在预测人类行为方面有效，但可能与专家人类的实力不符，而自助学习和搜索技术（例如，alphakero）导致强大的性能，但可能会产生难以理解和协调的政策。我们在国际象棋中显示，并通过应用Monte Carlo树搜索产生具有更高人为预测准确性的策略并比仿制政策更强大的kl差异，基于kl发散的正规化搜索策略。然后我们介绍一种新的遗憾最小化算法，该算法基于来自模仿的政策的KL发散规范，并显示将该算法应用于无按压外交产生的策略，使得在基本上同时保持与模仿学习相同的人类预测准确性的策略更强。
translated by 谷歌翻译
由于深度学习模型越来越多地用于安全关键应用，可解释性和可信度成为主要问题。对于简单的图像，例如低分辨率面部肖像，最近已经提出了综合视觉反事实解释作为揭示训练分类模型的决策机制的一种方法。在这项工作中，我们解决了为高质量图像和复杂场景产生了反事实解释的问题。利用最近的语义到图像模型，我们提出了一种新的生成反事实解释框架，可以产生卓越的稀疏修改，该框架可以保护整体场景结构。此外，我们介绍了“区域目标反事实解释”的概念和相应的框架，其中用户可以通过指定查询图像的一组语义区域来指导反事实的生成说明必须是关于的。在具有挑战性的数据集中进行了广泛的实验，包括高质量的肖像（Celebamask-HQ）和驾驶场景（BDD100K）。
translated by 谷歌翻译
随着持续的Covid-19大流行，了解病毒的特征已成为科学界的重要挑战性。虽然Covid-19存在测试确实存在，但我们的研究目标是探索识别受感染者的其他方法。我们的小组应用了无监督的聚类技术，以探索Covid-19感染，病毒肺炎感染和健康个体的肺杆菌数据集。这是Covid-19是目前正在进行的新型疾病的重要领域。我们的方法探讨了无监督的聚类算法必须揭示Covid-19和其他呼吸疾病之间的重要隐患差异。我们的实验用途：主成分分析（PCA），K-Means ++（KM ++）和最近开发的强大的连续聚类算法（RCC）。我们使用调整后的互信息（AMI）得分评估KM ++和RCC在聚类Covid-19肺扫描中的性能。
translated by 谷歌翻译
Biological systems and processes are networks of complex nonlinear regulatory interactions between nucleic acids, proteins, and metabolites. A natural way in which to represent these interaction networks is through the use of a graph. In this formulation, each node represents a nucleic acid, protein, or metabolite and edges represent intermolecular interactions (inhibition, regulation, promotion, coexpression, etc.). In this work, a novel algorithm for the discovery of latent graph structures given experimental data is presented.
translated by 谷歌翻译
The success of neural networks builds to a large extent on their ability to create internal knowledge representations from real-world high-dimensional data, such as images, sound, or text. Approaches to extract and present these representations, in order to explain the neural network's decisions, is an active and multifaceted research field. To gain a deeper understanding of a central aspect of this field, we have performed a targeted review focusing on research that aims to associate internal representations with human understandable concepts. In doing this, we added a perspective on the existing research by using primarily deductive nomological explanations as a proposed taxonomy. We find this taxonomy and theories of causality, useful for understanding what can be expected, and not expected, from neural network explanations. The analysis additionally uncovers an ambiguity in the reviewed literature related to the goal of model explainability; is it understanding the ML model or, is it actionable explanations useful in the deployment domain?
translated by 谷歌翻译